Apprentissage de la coordination multiagent : Q-learning par jeu adaptatif

Résumé : Dans le cadre de l’apprentissage multiagent, de nombreux travaux ont cherché jusqu’à présent à établir des algorithmes convergents vers un équilibre de Nash en jeux stochastiques. De tels algorithmes sont cependant limités dans la mesure où ils sont incapables de gérer la multiplicité des équilibres de Nash et de converger vers l’équilibre Pareto-optimal si celui-ci existe. Ces algorithmes utilisent généralement une convention pour la sélection de l’équilibre de Nash le plus approprié en cas d’équilibres multiples. Pour palier à cela, nous proposons un algorithme d’apprentissage étendant le Q-learning aux jeux stochastiques non-coopératifs, qui converge en jeux uniformes (en anglais “self-play”, ce sont des jeux où tous les agents utilisent le même algorithme d’apprentissage) vers l’équilibre de Nash Pareto-optimal. Nous présentons des résultats expérimentaux montrant la convergence d’un tel algorithme en jeux homogènes vers un équilibre de Nash, en tant qu’équilibre de meilleure réponse mutuelle (donc vers un équilibre de Nash Pareto-optimal), sans besoin de convention de coordination explicite.